II villaggio, dalla torre, fu detto dapprima Torre Inferiore a distinguerlo da quello detto Torre Superiore (odierno Castel Ruggero), forse la «Turris Petrusiae» di cui parla l'Ughelli nell’affermare che i due abitati erano feudi della mensa vescovile di Bussento-Policastro.

Il Laudisio fornisce due spiegazioni sull'origine del nome del villaggio rilevandole, una da un antico manoscritto da lui consultato, l'altra dal Troyli. Scrive, infatti, che nel manoscritto vi era notizia di un feudo vicino al castello che egli fa risalire a re Ruggiero, dove si vedevano spesso degli orsi nelle vicinanze di una torre ivi costruita. Gli abitanti vicini frequentavano il luogo per l'abbondante caccia, per cui finirono per insediarsi intorno alla torre e il feudo da rustico divenne urbano prendendo il nome di Torre Orsaia. Il Troyli, invece, fa risalire ai popoli lucani ursentani la fondazione dell'abitato.

Comunque l'abitato era preesistente al succedersi delle incursioni saraceniche quando i vescovi di Policastro cercarono rifugio nell'interno e propriamente in quel piccolo abitato. Il palazzo vescovile, però, venne costruito solo negli ultimi anni del '200, se del 1301 è l'epigrafe in gotico del vescovo Pagano sul palazzo in cui si legge: «Anno Domini millesimo trecentesimo primo, indictione decima quinta, Paganus episcopus opus fieri fecit». Di questo vescovo è notizia anche nei Registri Angioini (v. Policastro). Il villaggio finì poi per essere riconosciuto nel sec. XIII come franco allodio a dei vescovi bussentini, con l'affermarsi della loro signoria nel luogo. La torre venne ricostruita e potenziata da Antonello de Petruciis, primo ministro di Re Ferrante, quando era signore del luogo, per cui il nome di «Turris Petrusiae».

Nel 1479 re Ferrante dichiarò Torre Orsaia «Terra», concedendo il privilegio di non riconoscere più il «signum dominii» della Mensa vescovile, privilegio poi confermato nel 1550 da Carlo V.

Nel 1524 Giovanni Carrafa, conte di Policastro, convenne innanzi alla Regia Camera della Sommaria con il vescovo di Policastro assumendo di essere il legittimo feudatario di Torre Orsaia. Il vescovo non poté esibire il privilegio originale di concessione, diversamente dall'attore Carrafa, il quale dimostrò che gli abitanti di Torre Orsaia l'avevano sempre riconosciuto come loro signore, sia in occasione del pagamento dell'adoa, che dei maritaggi e del riscatto del figlio Pietro Antonio, fatto prigioniero dai francesi. Il conte chiarì anche che il villaggio di Torre Superiore, distante un miglio, era stato fondato e fortificato da Antonello de Petruciis e che proprio da costui aveva preso anche il nome di «la Petruccia». I presuli obiettarono che, come confermava lo stesso diploma di concessione della contea di Policastro, i Carrafa ne vantavano la sola concessione criminale. Esibirono, infatti, i capitoli originali concessi da Antonello de Petruciis, «regius consiliarius ac secretarius, utilis domini civitatis Policastri ac jurisdictionis casalis Turris». I procuratori del conte impugnarono di falso i capitoli, ma l'esame calligrafico delle firme di Antonello e del figliuolo Giovanni Antonio, che con il consenso di re Ferrante era stato associato da Antonello alla contea (quest'ultimo confermava «que genitor honorandus concessit»), vennero riconosciute autentiche da tre persone qualificate nel 1544.
O. Pasanisi, che pubblicò gli statuti locali, afferma che i vescovi finirono per diventare i signori del luogo. Tanto è vero che il censo della «pregata» (richiesta fatta dagli abitanti di terreni al vescovo che li concedeva per richiamare famiglie a Torre Orsaia) venne pagato sempre ai vescovi fino all'abolizione della feudalità.
 
Il Laudisio ricorda l’incursione di Dragut pascià , avvenuta la sera di sabato 10 luglio 1562, con 123 galee ancorate nel golfo di Policastro i cui equipaggi, verso le ore 15 del giorno successivo «descenderunt in terram velociores aquilis coeli», saccheggiando e distruggendo molti villaggi dell'interno tra cui Torre Orsaia.

Per consuetudine i primi abitanti di Torre Orsaia e Castel Ruggero «erano tenuti ogni domenica prestare un cesto, che di servizio alla detta in signum dominii, che questa rappresentava sopra l’abitato e terra della Torre Orsaia, e per esimersi da tal servitio nell’anno 1479 dal re Ferdinando fu conceduto privilegio che Torre Orsaia, e suoi abitanti, di potersi edificare un casale e così dichiarandola terra li tolse la citata servitù». Il privilegio fu poi confermato da Carlo V nel 1550.
 
Dal Cedolario si apprende che ultimo intestatario del feudo (26 febbraio 1789) fu il vescovo di Policastro. Ma l'Alfano, il Giustiniani e poi anche il Sacco includono Torre Orsaia tra le «Terre regie», e cioè demaniali con la sola giurisdizione criminale appartenente alla famiglia Carrafa, conti di Policastro.

Il Galanti riferisce dei 1952 abitanti di «Torre Ursaia», ricordando  che ivi «è il sepolcro di Teodoro Besa uno di quei Greci che vennero in Italia nel XV secolo, ed ai quali dobbiamo il risorgimento delle nostre cognizioni».